查看原文
其他

新观察 · 当今LLM智能发展之“事不过三”定律|黑格尔的正反合·老子的道德经·Marvin Minsky的悼文

ai汤源 AI范儿 2023-09-14


图|Synthetic Intelligence

文|Synthetic Intelligence/王飞跃/汤源

注|汤源
Georg Wilhelm Friedrich Hegel-德国哲学家

题记

我,(作为AI范儿社区为这波AI发电者之一,有时自称或被称CPO-Chief Prompt Officer-其实是一种社区人设需要),自4月初正式开启AI范式(V4版本正式定名为A𝕀²·ℙarad𝕚g𝕞)探索之旅,已整五个月。
最近似乎围绕这波AI的喧嚣有了某种程度的尘埃落定,国际、国内百年范式变革的大背景下,过往VC、PE、创业者以至于资本二级市场互相抬轿子那种-产业链上每一个环节似乎都能better their conditions-无论是否真正创造价值,都能赚得盆满钵满的时代,悄然一去不返,美元基金退出,国内基金都需要对赌甚至要背负国有资产流失的原罪,这一切似乎都在回归价值。
其实无论是硅谷还是清华科技园,真·炼丹师还在不懈努力,眼前最赚到的还是皮衣老黄,但新范式的最后赢家也许还未注册......
这种沉寂也似乎反映到AI范儿·公众号的文章更新数量上;趁着这段放缓时间,我一方面从智能维度重新思考A𝕀²·ℙarad𝕚g𝕞,一方面也终于有时间从SOTA的AI范式研究稍微看看今天的AI成就,所经历的那些人和事。
过往只是对70、80年代的所谓AI冰河期-Minsky时刻有一点印象,正好看到作为IEEE Intelligent System杂志的前任主编和现任名誉主编的王飞跃老师,在2016年Minsky去世时匆就的悼文,其中不乏很多亲身经历、Minsky身边的学生以及其个人的灼见,特转载如下。
TakeAways|“回想起来,NN(NeuralNets)乃至计算智能之所以一直游离在人工智能的主流之外,与Minsky有相当的关系。这也给了IEEE创办NN Council,还有后来的NN学会,即改名后的计算智能学会(CIS)的机会。而且,后来以NN和SVM为主要起步方法的机器学习理论在广泛应用之后仍长期不被主流的人工智能接受,似乎也与Minsky的影响有关。好在今天机器学习,特别是深度学习“悍然”已成为人工智能的主流,人工智能和计算智能也逐渐迈向合二为一。”
这与笔者最近转载的一篇文章人工智能的辩证法:连接主义与符号主义,文中提到的黑格尔说的有某种自洽,和这个世界的进程一样,创造人类同等级别的智能,也需要正、反、合三次推动,才能在从一个极端走向另一个极端的过程中取得进步,建立平衡。而今天的GPT智能,正是来源于人工智能的连接主义Connectionism-智能的可计算性,以及语言作为一种符号系统的天生符号主义元素,这一正一反的合二为一。
道德经曰:“道生一,一生二,二生三,三生万物“ ---老子的《道德经》第四十二章,则似乎是另一种自洽。

历史概述

人工智能的历史是符号学(又称计算主义或经典主义)与连接主义方法的跷跷板。(笔者注:当然最近几年又冒出来行为主义Behaviorism的路径approach,需要另文再叙)
它的起点自然是连接主义(connectionism)的第一个神经元版本(并不完全正确)。在当时,用真实的导线连接一些计算元件,然后创建一个仿真模型,是一件非常简单的事情。

“连接主义语料库(橙)与符号主义语料库中

被引用的论文数量之比变化情况-来自论文Neurons spike back


然而,研究人员从一开始就勇敢或天真地瞄准了 AGI。尽管计算机和计算机科学的发展使得由一定数量的人工神经元组成的网络建模成为可能,但在符号层面模仿思维所产生的结果更接近实际问题,同时也更接近 AGI 梦想。因此,大部分的才智和资金都投向了这个方向。
遗憾的是,由于现实模型原始,学习能力也很初级,尽管符号方法在商业和研究领域被广泛采用,但它还是达到了极限。人们发现,在模型中使用更原始的现实投影,但增加训练能力,而不是硬编码和添加规则,就有可能获得许多有用的见解和解决狭窄案例的方法,因此机器学习时代开始了。
机器学习的成功也是它的诅咒:每一个狭窄的任务都需要特定的解决方案,因此机器学习的模型动物园使它成为统计学和计算机科学边缘的一个利基(niche)。
然后,理论上存在已久的深度学习突然出现了。事实上,这是一件大事。也许最真实的项目仍然基于传统的 ML 模型,但最好的结果、最大的收益和最多的关注都在 DL 方面(笔者注:本文成文于2019年底,GPT系列已经到GPT-2,但让无数人大跌眼镜的ChatGPT发布于2022年11月30日)。

当前现状(指2019年底)

我们现在就在这里。但 DL 技术的现状已经腐朽不堪。快速进步的时代已经变成了修修补补设置以获得下一个 0.1% 的精度,以及对我们的星球造成危害的蛮力能源消耗。我们已经接近了利用对现实的统计黑客方法(hacking)所能做到的极限。DL 模型缺乏常识、一些直观的物理知识和自我监督的持续学习,这一点甚至在 DL 主流的领导者看来也是显而易见的。更不用说,人类大脑 20-40 瓦的耗电量与 DL 超级计算机的兆瓦级耗电量相比,简直就是一种残酷的嘲弄。
从根本上说,目前讨论的解决这一问题的唯一可行方案就是创造一种混合了 DL 和符号人工智能的技术,并加入一些额外的技巧。虽然还没有人能够做到这一点,但至少这样一个科学怪人看起来是可能的(忽略功耗问题)。(笔者注:以当前笔者研究这波AI范式的直觉来看,这里的符号人工智能无疑就是语言这种天然符号系统的利用,以及可能通往AGI的捷径)
黑格尔认为,世界是在从一个极端走向另一个极端的过程中取得进步的,一般需要三次推动才能建立平衡。人工智能的发展似乎正是如此,我们经历了两次从一个极端走向另一个极端的过程:从连接主义到符号主义,再从符号主义到高级连接主义。因此,钟摆必须再往回摆一次,但不是摆回我们所熟知的符号主义,而是摆回具有两个世界最佳部分的东西。不是简单地将它们结合起来,而是通过论题和反题到综合,进入一个全新的层次。(笔者注:可能当前有很多人认为这里的第三次推动是人工智能的行为主义Behaviorism-以meta AI的首席科学家Yann LeCun的world model为代表)

未来如何

从以往人工智能范式转变的动态中,我们可以看到一些模式,这有助于猜测下一次范式转变。考虑到范式牵引力的一般衡量标准(出版物、人员、应用、资金、公众关注度等),并在图表中仅反映出差异,你可以看到以下内容(这只是一个粗略的估计,背后没有可靠的方法论):

工智能 100 年:连接主义与符号主义及其他
主要意见:
  1. 所有阶段的持续时间都差不多。我们无法确定当前的阶段,但至少它目前没有偏离。

  2. 所有阶段都是缓慢开始,然后是快速增长,最后是快速衰减。同样,我们还不知道当前阶段的衰减情况,但至少我们已经看到的动态与之前的阶段相似。另外,请记住,这是关于差异的问题,衰减并不一定意味着绝对数量的减少。

  3. 每个下一阶段的规模都比上一阶段高出数倍。
我们没有足够的数据点来从这些观察中得出任何可靠的结论。但是,如果考虑一下内在的原因(硬件和基础设施的发展、相关人员和机构的惰性、实际应用领域的形成和行业采用、炒作周期等),它们看起来是非常合乎逻辑的。
它与下一次(可能是最后一次)范式转变会有所不同吗?可能会有一些不同,这主要与缓慢阶段的持续时间有关:它必须更短。主要原因如下:
  1. 硬件和基础设施已经足够好,无需等待专门的解决方案即可使用。

  2. 所有现有的数据公司都为快速采用下一代人工智能提供了一个巨大的平台。

  3. 投资者和政府已经受到教育,认识到这一转变将带来巨大机遇。

  4. 由于解决方案的普遍性(例如,计算机视觉和 NLP 领域之间不再分隔),技术堆栈的碎片化程度将大大降低,进展速度也将大大加快。
我们很难想象转型的前景会如何,但考虑到转型在不久的将来就会开始,我们可以肯定地说,十年后,这一阶段将处于指数级发展阶段。
💡 “Neurons spike back-感应式机器的发明与人工智能的逆向发展”▩论文摘要 https://mazieres.gitlab.io/neurons-spike-back/NeuronsSpikeBack.pdf自 2010 年以来,基于机器学习的预测技术,更具体地说是深度学习神经网络,在 "人工智能" 这一总称下的图像识别或自动翻译领域取得了令人瞩目的成就。但它们与这一研究领域的渊源并不简单。在人工智能波澜壮阔的发展史上,使用所谓 连接主义 神经网络的学习技术长期受到 "符号" 运动的嘲弄和排斥。本文从符号主义方法与连接主义方法之间的紧张关系的角度,回溯了人工智能的历史。文章从科技社会史的角度,试图强调研究人员如何依靠海量数据的可用性和计算能力的倍增,通过重振控制论时代的自适应和归纳机器精神,重新制定符号人工智能项目。关键词:神经网络 人工智能 连接主义 专家系统 深度学习


附录一:王飞跃|认知科学家Marvin Minsky的悼文

为了纪念刚刚去世的人工智能创始人之一,认知科学家Marvin Minsky教授,IEEE Intelligent Systems(IS)杂志正组织相关领域专家及其Minsky生前的学生与朋友,撰写In Memoriam(笔者注:悼文),以各具特色的自由风格,怀念这位在人工智能史上有着特殊重要地位的先驱和开拓者。作为IS的前任主编和现任名誉主编,我自然积极响应,并邀请了人工智能另一位重要的先驱与开拓者,斯坦福人工智能实验室的Nilsson教授共同参与。由于时间太短,正在夏威夷海滨度假的Nilsson无法完成,但提醒我邀请自己的校友,Minsky在MIT的两位早期博士毕业生Danny Bobrow和Bert Raphael。 

Danny和Bert都是自然语言处理的先驱,Danny的博士论文是关于文字代数问题求解的STUDENT程序,Bert的博士论文是关于语义信息搜索回取的SIR程序。STUDENTSIR都是基于LISP写的,可以算是人工智能在早期NLP的里程碑工作。

Danny后来成为人工智能学会AAAI以及认知科学学会的主席,曾担任《人工智能》杂志主编;Bert与Nilsson等发明了A*搜索方法、研发了世界上第一台可移动智能机器人ShaKey,还参与创办了《人工智能》杂志并任主编。

有趣的是,当年Danny和Bert在RPI(Rensselaer Polytechnic Institute)读大学时是室友,1957年毕业后,分别去了Harvard和Brown读硕士;后来两人野营时相会,Danny问Bert在做什么。Bert说正研究弹性波多散射问题;Danny说这听起来没多大意思,他正研究如何用相机识别Marvin的光头,只要Marvin走进房间,计算机就喊:“Hello,Marvin!”。一周后,Bert申请转到MIT,成为Minsky的学生,毕业后去了SRI(笔者注:SRI International 是一家独立的非营利性研究机构,总部位于加利福尼亚州门洛帕克市。),真的开发起利用相机进行视觉识别和导航的机器人ShaKey!

记得我告诉Bert自己也是从RPI的机器人与自动化实验室毕业,那时RPI智能机器人队伍庞大,研究正值高峰,位于世界主要机器人研发机构之列,并且在导师George N. Saridis教授的带领下,成立了NASA的空间探索智能机器人系统中心(CIRSSE),还创办了IEEE 机器人与自动化学会(RAS),他感慨当年自己在RPI时,既无自动化,也无机器人和AI,就连计算机课程都没有。其实当年MIT也没有这些,Bert和Danny的AI博士学位还是从数学系得到的。

邀请完两位前辈,我自己如何写却成了问题。Danny和Bert都与Marvin有很长的交往和很深的渊源,一致认为他是一个开放、真诚、友好、幽默、具有卓越创造性的人物。我虽有幸同Marvin有过几次个人交往,至少一次在物理世界,两次在Cyberspace:25年前去MIT面试机器人Assistant Professor职位时的会面,6年前因他入选“人工智能名人堂”试图举办新闻会议和4年前因他的学生、自己的前辈和朋友Dave Waltz去世的两次邮件,但除此之外,并无任何其他的感性认识。而且,对于Minsky的学术思想,我的看法和认识也比较复杂,虽然越来越赞成并获益于其观点和概念,但仍然还在一个过程中,至今还没有完全定型。 

2012年,时任IEEE IS杂志主编王飞跃提议建立“人工智能名人堂”

Minsky是入选的十位之一

虽然如此,在我眼里Minsky是一位真正意义上的科学思想家,而且其思想的深度与原始性有时远在许多人的理解范围之外,由此受到质疑并引起争议。

对此我深有体会:上世纪八十年代中期,当我正挣扎着完成自己关于智能机的组织与协调理论的博士论文时,Minsky发表了他著名的《The Society of Mind》,此书曾给我很大的希望,以为真找到通向智能机的“金光大道”了。

1986年,Minsky出版了他第一本面向大众也是最有影响的专著《The Society of Mind》,本应立即引导人工智能走向新世界。但这一年,神经元网络起死回生,重新崛起,客观上延缓了Minsky思想的传播。但近二十年,人工智能大体上还是沿着Minsky的特定领域代理(Agent)交互的思路发展。

但还没有略读完,就意识到此路对一个刚入门的研究生几乎是不可能走通的。实验室有的同学甚至声称:就是你给Minsky的Agents加上再漂亮的数学公式和具体的逻辑程序,答辩委员会的教授们也不会通过你的论文。

RPI是一个工程思维主导的地方,客气的教授认为他的想法是“decent speculation(不错的臆想)”或者“too philosophical(太哲学了)”,有的直接就认为是“almost nothing to do with real AI(这个真正的AI没啥关系)”。

毕业之后,我才再开始重新认识Minsky关于Agent的想法,在NASA的火星移动机器人Spiderobot项目中进行尝试,这还是在MIT的R. Brook教授关于机器人行为编程控制的Situated AI方法有了一些成功之后。九十年代中末,当自己开始基于代理控制(Agent-based Control, ABC)方法研究时,才真正感受到当时Minsky之Agent思想的大胆与深刻。

今天,计算与AI技术的处境已发生了翻天覆地的变化,这一切似乎是“水到渠成”,而且,个人感觉,最近二十年上下AI主要都是沿Minsky的Agent思路发展的。同时,自己关于默顿系统、社会计算、基于虚实二相性的平行系统之平行智能的工作似乎也已进入Minsky三十年前所设想的人工智能新世界。

这恰如Minsky所说的:“ You don't understand anything until you learn it more than one way”!(对于一个事物,除非从多个途径学习,否则你什么也不知道。)

除了Minsky发表的《The Society of Mind》,1986年还出版了人工智能和认知科学发展史上的另一部与Minsky非常相关的里程碑式著作,就是PDP:《Parallel Distributed Processing》。这使我有幸,更准确地讲是个人的不幸,同时读了三本书:

  • Nilsson于1965年发表的《Learning Machines》;

  • Minsky和Seymour Papert(我一直戏称他为See more Papers教授,是一位自己十分敬重的智慧教育学家和知识机器的倡导者)于1969年发表的《Perceptrons》;

  • 和Rumelhart、McClelland及PDP研究小组编著的PDP,外加Rosenblatt(主要是Perceptron),Widrow(主要是Adaline),机器学习和自己导师的Learning Control等方面的论文。

Nilsson的书给出了当时学习机器和神经元网络的最全面的数学分析,但除了引理定理外几乎没有例子,特别是数值例子,使其成为“阳春白雪”,曲高和寡,由此失去了在工程师中传播推广神经元网络的机会。

Minsky和Papert用一个再简单不过的XOR逻辑算子差不多“判”了神经元网络的“死刑”,使其十年多几乎无人问津,直接导致了人工智能的第二个“冬天”。

而就在1986年,当Minsky的《The Society of Mind》欲在人工智能引发另一次浪潮或更学术地讲一次Paradigm Shift之际,PDP中基于Back-Propagation的多层神经元网络揭掉了Minsky和Papert贴在神经元网络上的“死咒”,使其“起死回生”,也使Minsky的声誉有所损失。

我相信这是为什么Agent和Minsky的其他学术思想没有更快兴起的一个重要原因,也是为什么后来Brook和Agent的倡导者没有更明确更有力地阐明Minsky的原始贡献的重要原因。

然而,在当时我更倾向于Minsky和Papert在《Perceptrons》里对神经元网络NN的评论,认为其基本模元有局限性和致命的缺陷,合起来的网络说不定会有这样或那样的问题,至少计算上不是很有效。特别是读McCulloch-Pitts神经元模型原文时,觉得内容与题目(A Logical Calculus of Ideas Immanent in Nervous Activity)相差太远,几乎有读Boole的《The Laws of Thought》的感觉:看懂的太简单,看不懂的觉得根本就是文学思想,不是Hard Science。

1969年,Minsky和Papert发表《Perceptrons》,其狭义科学分析通过广义文学语言的描述封杀了神经元网络研究十余年,将人工智能研究推入第二个"冬天"。史称"The Perceptron Controversy"或"The XOR Affair"。有人甚至声称Perceptron的发明人,英年意外死亡的Rosenblatt就是因此而自杀的。

在这段时间,导师的另一位学生MM,一位IBM的在职工程师,其关于Boltzmann网络的工作自己觉得明明是错的,但导师仍然支持,后来论文也发表了,更使我对NN(NeuralNets)的研究产生了偏见。而且,MinskyPapert的书使得人工智能研究的大方向稳定在以推理和逻辑编程为主的符号系统之上,而不是以NN为代表的计算智能方法,对于刚从计算力学逃出不久的我而言,当然心里更愿意接受。

一直到毕业后,我才开始改变自己的认识,九十年代初开始了关于Neuro-Fuzzy Network (NFN)方面的工作。 

回想起来,NN(NeuralNets)乃至计算智能之所以一直游离在人工智能的主流之外,与Minsky有相当的关系。这也给了IEEE创办NN Council,还有后来的NN学会,即改名后的计算智能学会(CIS)的机会。而且,后来以NN和SVM为主要起步方法的机器学习理论在广泛应用之后仍长期不被主流的人工智能接受,似乎也与Minsky的影响有关。好在今天机器学习,特别是深度学习“悍然”已成为人工智能的主力,人工智能和计算智能也逐渐迈向合二为一。

其实NN的“灾难”并不能真正地怪罪于Minsky。在《Perceptrons》和Minsky等人于1971年撰写的关于MAC项目的进展报告中,Minsky等把对NN的学术指责非常严格地限制于单层和“线性阈值”网络,而不是后来的多层和“Sigmoid非线性阈值”网络。但他们的文学性描述却十分清楚地告诉大家:尽管他们不能证明多层NN基本上是无用的,但十分自信地认为这些网络作为计算学习器件是不够的。

科学是科学,文学是文学,大家忘了McCullochPitts的原始文章已证明”NN可实现所有的布尔逻辑算子,当然包括XORNilsson的《LearningMachines》第6章也证明了多层网络Layered Machines的一般性能力,结果还是让MinskyPapert一个小小的XOR反例就使NN尘封十余年,陷人工智能于冬天的境地。

要怪只能怪自己不动脑,盲从,把文学当科学。这点反过来回应了Minsky擅长的谜语式警句:“In science, one can learn the most by studying what seems the least”(在科学里,研究似乎最不起眼东西,往往可以学到最重要的。) 

唯一让自己感觉不适的是,NN重生以后,Minsky和Papert声称他们过去无意也没有把他们在《Perceptrons》中关于XOR的结论放大到整个NN,是别人误解了其真正意图。换言之,有人愿意将其文学语言当成科学描述,怪不得他们。我在理性上认同Minsky和Papert的说法,但《Perceptrons》明明白白往“死”里攻击当时风头正健的Perceptron,其提出者正是Minsky的高中校友和学术上的同事加“朋友”Frank Rosenblatt,就连他们书的封面也以象征Perceptron无能与致命缺陷的双螺旋连通图(而且还是用了令人尴尬的色彩)示之,感性上我很难觉得他们两人是无辜的。

别忘了,Minsky很自豪他在自己的博士论文中提出了世界上第一个随机连接的神经元网络模型,同时认为人脑就是简单而有局限的元件组成的“人肉机器(MeatMachines)”。而且,Minsky在此两年之前出版的一本关于形式语言和计算基础理论的大学教科书《Computation: Finite and Infinite Machines》中,还与众不同地引入了神经元模型,大力提倡利用神经元网络构造理论计算机。令人宽慰的是,1971年Rosenblatt正当英年死于意外事故(也有人说是自杀)之后,Minsky和Papert将修正后的新版《Perceptrons》献给了Frank Rosenblatt。

Minsky1967年出版的唯一一本形式语言与计算理论大学教本,首次引入了神经元模型和基于神经元网络的理论计算机,并对华裔哲学家、逻辑学家和人工智能的开拓者王浩的工作进行介绍。

说起明斯基的《Computation》,还有几句相关的题外话。我跟付导师(Minor Advisor) Robert McNaughton (罗伯特·麦柯纳赫顿)学习形式语言时,直接上研究生的课。因无计算机专业的大学背景,罗伯特推荐了《Computation》自修补课。读后感觉这是一本深而易读的优秀教材,特别是明斯基关于Post定理的证明。独出心裁、简明清晰、令人印象深刻。而且,作为一个刚到美国的中国留学生,很高兴在书中看到对首位在计算机和人工智能领域里开拓的王浩教授工作的高度评价。书中证明了“Wang Tiles(王氏瓷片)”与图灵通用机等价,同样具有不可决定性(Undecidability)。

王浩是位著名的哲学家、逻辑学家和计算机科学家,在哈佛哲学家奎因的名下完成博士学位(尽管后来王浩对奎因有许多批评),也是罗伯特的师兄和研究数理逻辑的引路人。王浩晚年与 Godel 交好,成立Godel 学会,致力于研究 Godel 哲学思想。忘了是1989还是1990年,我当面向王浩提起此事,才知道“王氏瓷片”是王浩自己的一位博士生首先命名的,并证明了其不可决定性,而明斯基是这位学生博士答辩委员会的成员,所以非常了解这方面的工作,后来证明了“王氏瓷片”与图灵机的等价性(此事我一直不明白,但不是此处讨论的问题)。更有趣的是,当我同王浩讲起系里有位教授人工智能的老师认为明斯基是位“文学家、作家、半个哲学家”时,王浩回应道:一、显然这位教授没有看过明斯基的“小说”; 二、明斯基不是“半个哲学家”,至少是“一个半哲学家"!

静想一下,人工智能史上的这一“事件”有着令人“哭笑不得”的效果。Nilsson是AI中力推逻辑推理的“符号”学派(所谓“纯净派”)之主力。对计算智能方法不能说有“敌视”,但起码支持不力,可他的第一本专著《Learning Machines》本来应兴起计算智能与机器学习的时代之“火”,却无疾而终,或者说后来被Minsky和Papert扑灭了。Minsky是AI的认知计算和“玄妙”学派(广义的“邋遢”派)之开山,没想到其《Perceptrons》却狙击了计算智能十余年,反过来成就了“符号”学派。这段历史,符合其《The Society of Mind》的框架,活生生的一幕默顿系统动力学之戏,值得社会学家和历史学家仔细地去研究。

我隐约地感觉当年第一位AI之“父”John McCarthy离开MIT去斯坦福创立新的人工智能实验室与Minsky有关。按McCarthy的说法,是他召集了1956年的Dartmouth会议,提出了“人工智能”一词,Minsky只是应邀参会。接着,McCarthy发明了LISP语言,理所当然成了现代AI“符号”学派的开山鼻祖。而Minsky一直自称也被公认是AI的“认知科学家”,更倾向于Cybernetics创始人Norbert Wiener教授关于人工智能的想法:连续逻辑、连续信号或连续数学为主,而非离散逻辑、离散符号或离散数学。实际上,在Dartmouth的夏季会议之前,Wiener过去的学生和同事已经于同年的春天在MIT校园里组织了一次关于认知科学的研讨会。此会是否对接下来夏天的人工智能研讨有影响,我目前无法知道,但无论如何,背后都有Wiener的影响。

而且,Wiener与McCulloch及Pitts的决裂,断送了当时计算方法引导AI发展的趋势,客观上为后来符号方法在AI的兴起创造了机会。但MAC项目中AI部分,主导者却成了Minsky,原因或许与项目资助人DARPA的Licklider博士的兴趣有关,其心理学和通信的背景,会更倾向于Wiener所指明的方向,结果导致McCarthy的离开,使斯坦福成为MIT MAC Project的竞争对手和“纯净派”的大本营。

试图用逻辑学救赎世界的人:沃尔特-皮茨(Walter Pitts)从街头崛起,进入麻省理工学院,却无法摆脱自己。[参见文章 https://nautil.us/the-man-who-tried-to-redeem-the-world-with-logic-235253/ ]

当然这一切都是我的猜想,目前并无任何材料和考证。

年初我去Oregon拜访退休的Nilsson教授,还谈起他的《Learning Machines》和Minsky的《The Society of Mind》,希望有时间回头细读,结果得到他购赠的一本来自英国Glasgow大学图书馆的1965年原版《Learning Machines》。没想到回到北京后,办公室送来一份湛庐文化董寰总编的礼物,Minsky《The Emotion Machine》的中译本《情感机器》。我曾略读过英文版,但当时整体上并不认同其思路,也不相信其中的一些结论,正要把中文本带在出差的路上细读的时候,传来了Minsky去世的消息。两本书,一个不幸的消息,加上谷歌AlphaGo算法大胜欧洲围棋冠军的《自然》论文和随之而来关于深度学习及“人类vs人工智能”的讨论热浪,逼着自己花时间去读相关论文,让我顿然失去了细读《情感机器》的心情。或许,还是先看看Nilsson的小册子《Understanding Belief》,理解相信到底为何吧。

2006Minsky完成的《情感机器》,至今毁誉参半,没有被人充分理解,形成共识。书一出版,就因其中压根沒有提及生物神经情感专家(也是歌唱家、作曲家)LeDoux的工作和专著《情感大脑》而受指责。Minsky在书中认为意识、情感、推理都是思维,从而也就是智能之不同的方式而已。意识不是单一的"自我(Self)",而是不同心理过程所组成的"分布式云(Decentralized Cloud)"而且,应该把大脑看成血肉构成的交换机,实现人工智能的途径就是如何使我们的理智(Mind)更像思维机器,而不是使机器更像人类。

不管Belief(信念)为何,在一件事上我必须表明对Minsky教授的敬佩,就是他从不与自己的学生合作写文章,但竭力为他们创造自由良好的成长环境,甚至连自己的家都成了学生们随时可以来聊天吃饭的“俱乐部”。Danny还记得Minsky请他去MIT的教授餐厅吃饭,说见一个人,他还以为也是一个学生,结果竟是大名鼎鼎的Wiener教授。同任IS杂志主编(我的前任),也是《Science》杂志在信息领域的唯一编委,RPI计算机教授James Hendler也讲了类似的故事: 他做学生参加会议时,Minsky请他一起吃饭,并说还请了另外一人,希望他不要失望,到后令Jim大吃一惊,原来是人工智能的另一位“开山之父”,图灵奖和经济诺贝尔奖得主Herbert Simon教授。Minsky对学生的扶持与风格,可见一斑。

随思乱笔,零散的回忆,算是自己对Minsky这位真正的科学与技术之思想家的怀念与致敬!


附录二:A𝕀²·ℙarad𝕚gm-Intelligence as a Service


💡 A𝕀²·ℙarad𝕚gm-Intelligence as a Service v1~v4范式迭代简介

AI范儿A𝕀²·ℙarad𝕚g𝕞从V1到V4的迭代,是一种全新的尝试,基本是沿着:“从GPT现象·看Prompt本质·找创投应用方向“这样的路径,在“AI范儿”社区一众群友prompt下共创并逐步思考迭代的过程。当前v4.0版本涵盖如下内容:1*整体框架与范式路径:(human level)Intelligence as a Service整体框架,与炼丹、挖矿、化身、具生4原生商业范式迭代路径2*服务路径:模型原生(models native)服务路径与卖铲子(shovels selling)服务路径

3*智能发展路径:通用人工智能(AGI)发展路径、面向个人智能伴侣(PIA)发展路径以及硅基原生(Silicon Stack)智能发展路径

范式思维升级:v4版A𝕀²·ℙarad𝕚gm范式框架一个重大升级就是思维范式的变化,研究对象从GPT现象上升到智能现象,同时纳入了和人类及其组织智能对等的硅基原生智能及其生态,甚至在具有某种自主意识的AI智能体“具生”范式里,考虑在world of bits的纯数字世界里,和人类无关的agent形态。对等智能体分别为Human Intelligence Species(含群体组织)与 Silicon Native Entities(含群体生态),区别为human是否in loop。因此对等智能体之间的价值交互可分为:
  • AI对于人类智能的增强
  • AI对于人类智能的替代
  • AI智能本体的自主化

四个GPT原生范式:及其对应的工程范式,版本迭代路径以及商业范式;并对每个原生范式的未来对应发展路径做了一一对应,具生范式是终极商业范式。

▩炼丹(pre-training) (v1. AIGC) - tokens as a service [~AGI/ASI]

▩挖矿(prompting) (v1. AIGC) - prompts as a service [~GPT agents]

▩化身(fine-tuning) (v2&v4. Models Anywhere&Anyone) - models as a service [~in-devices&on-premises agents]

▩具生(agents) (v3&v4. Promptless) - agents as a service [~world of atoms&bits | human in loop & Silicon Native Entities]
△附:A𝕀²·ℙarad𝕚gm-Intelligence as a Service v1-v4范式迭代路径简介版
▩A𝕀²·ℙarad𝕚g𝕞整体框架示意图
说明:转发传播请注明出处,A𝕀²·ℙarad𝕚gm-Intelligence as a Service商业范式研究框架版权归AI范儿CPO所有。

“AI范儿的A𝕀²·ℙarad𝕚gm商业范式v4.0示意图”


进阶阅读


进阶阅读


卡梅隆博士系列E01S01:提示工程-CoT思维链实现LLM推理


卡梅隆博士系列E02S01:提示工程-实用提示工程建议与技巧


卡梅隆博士系列E03S01:提示工程-高级提示工程超越few-shot


卡梅隆博士系列E04S01:提示工程-提示合奏使LLM更可靠




卡梅隆博士系列E01S02:开源LLM的历史-早期


卡梅隆博士系列E02S02:开源LLM的历史-更好的基础模型


卡梅隆博士系列E03S02:开源LLM的历史-化身与对齐



AGI甚至ASI-人类是在盗火还是玩火?

AI商业新范式“智能即服务”解读-A𝕀²·ℙarad𝕚g𝕞^v4



参考

说明:本文在公众号里标注为“原创”仅为防止未经许可的转发,本文引用内容的版权属于原作者和原媒体。

-Dialectic of AI: connectionism vs symbolism

https://medium.com/synthetic-intelligence/dialectic-of-ai-connectionism-vs-symbolism-d8b9888d4268

-Neurons spike back

https://mazieres.gitlab.io/neurons-spike-back/index.htm

-王飞跃:一位真正的科学思想家:纪念人工智能之父Marvin Minsky教授

https://blog.sciencenet.cn/blog-2374-962496.html


END


扫码加群,

立变AI🍚!


AI范儿读者群


👇关注、标星哦~

那些prompt了我的,

是否也prompt了你...


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存